# -*- coding: utf-8 -*-
# time: 2025/4/7 17:05
# file: __init__.py.py
# author: hanson
"""
https://cloud.tencent.com.cn/developer/article/2430076
微调：fine-tuning
pip install -U huggingface_hub
Windows Powershell
$env:HF_ENDPOINT = "https://hf-mirror.com"

下载模型
huggingface-cli download --resume-download gpt2 --local-dir f:/gpt2

下载数据集
huggingface-cli download --repo-type dataset --resume-download wikitext --local-dir f:/wikitext
"""

# 大概步骤如下
"""
Pre-training‌（预训练）：模型在大规模通用数据上的初始训练
Transfer Learning‌（迁移学习）：将预训练模型迁移到新任务的整体技术
Hyperparameter Tuning‌（超参数调优）：调整学习率、批次大小等参数

我的理解是，指令微调更多把LLM看作一个更智能、更强大的传统NLP模型（比如Bert），
来实现更高精度的NLP任务。所以这类任务的应用场景覆盖了以往NLP模型的场景，甚至很多团队拿它来标注互联网数据。
我们需要下载一个微调中文数据集： chinese_ner_sft ：项目通过收集互联网上开源的实体识别数据集, 并通过设计提示模版（prompt template）将原本的实体识别数据集转换为可用于大语言模型（LLM）微调的指令微调（Instruction tuning）数据集。该数据集可以应用到通用实体识别的LLM研究中。
https://www.modelscope.cn/datasets/zhuangxialie/SFT-Chinese-Dataset/dataPeview 也可以使用这个

"""
# Load a pre-trained model
# Modify the output layer
# model.classifier = nn.Linear(model.config.hidden_size, num_custom_labels)

# Train on domain-specific data
# trainer = Trainer(model=model, args=training_args, train_dataset=dataset)
# trainer.train()

"""
opencsg/Fineweb-Edu-Chinese-V2.1

erhwenkuo/medical_dialogue-chinese-zhtw
wangrui6/Zhihu-KOL

Congliu/Chinese-DeepSeek-R1-Distill-data-110k
Seikaijyu/Beautiful-Chinese
xmj2002/Chinese_modern_classical
Minami-su/LIMO_chinese
"""

list1 = [1,2,3]
list2 = [3,6,7]
for i,j in zip(list1,list2):
    print(i,j)



